FreeSolo：零样本长度外推的线性时间稀疏注意力
🧭 线性时间稀疏注意力 · 长度外推
National University of Singapore · University of Toronto · Sea AI Lab, Singapore
短程滑窗+长程 keypoint 选择的稀疏注意力，线性变体短 CPT 即可零样本长度外推
📌 工作参考价值（4 点）
- 在电商/广告/搜索推荐中，用户行为序列可能长达数十万 token，完整 attention 成本过高；FreeSolo 的“短程滑窗 + 长程 keypoint 选择”可直接启发用户长期记忆或 Agent 记忆模块设计：用 keypoint 表示长历史中的关键类目/商品节点，显著减少 KV cache 和推理延迟。
- FS-L 表明通过较短的继续预训练即可学会前缀剪枝，并获得零样本长度外推能力；已有 4k/8k 底座、需要扩展到 64k/256k 行为序列的团队，可以避免昂贵的全量长上下文 CPT，采用类似的稀疏化微调路径。
- FS-B 的 radix-sort + 平衡树 O(N log²N) 构建成本，为大规模商品/内容索引的层级化检索提供工程思路：离线构建可剪枝树状索引，在线做 query 相关的 top-k 节点选择，兼顾精度与时延。
- 可复用 S-NIAH/RULER 作为长上下文模块评估指标，相比单纯 loss 更能暴露零样本长度外推能力。
LeapQuant：线性注意力循环状态的近无损量化与高效推理
🧭 线性注意力状态量化 · 推理加速 ★ 深度解读
UC Berkeley · University of Washington · MIT · Perplexity AI · NVIDIA
通过 per-window 量化与 Compensator Tokens 实现 GDN/KDA 状态 8-bit 近无损，端到端加速 1.47×
📌 工作参考价值（4 点）
- 长序列用户行为模型的状态压缩：电商/推荐中常用线性注意力或 SSM 建模用户长序列行为，其 recurrent state 是显存带宽瓶颈。可直接借鉴 per-window 量化：窗口内保持低比特边界状态 + 高精度 buffer 更新，仅在窗口边界重建量化，避免逐 token 误差累积；p=16、INT8 的配置可直接实验。
- 用低秩补偿 token 处理状态 outlier：用户序列或 LLM agent 长轨迹的状态矩阵常有少数行/列异常值，直接量化会放大误差。可以学 Compensator Tokens：拟合 r=4 的 FP16 低秩成分保留高精度，残差做 channel-wise smoothing 后再量化；对电商场景中的行为状态矩阵同样适用。
- 长上下文 LLM serving 显存优化：如果业务中部署 hybrid 线性注意力模型（如 Qwen3.5、Kimi、GLM 系列），对 recurrent state 做 8-bit 量化可降低 prefix caching 状态存储 41–56%，直接提升单卡并发；端到端吞吐提升 1.23–1.65×，在长 reasoning/Agent 任务里收益明显。
- 工程超参决策参考：窗口长度 p=16 是精度与 kernel 速度的甜点，过长会导致 buffer 读取增多、kernel 提速下降；Compensator Token 数量 r=4 精度饱和，r 超过 8 会暴露计算开销。这些经验可直接用于自研线性注意力推理内核的量化配置。
Kalman Delta 网络：不确定性感知的关联记忆
🧭 线性注意力 · 状态空间模型 · 不确定性建模
Department of Computer Science, Yale University
将线性注意力循环记忆重构为线性高斯状态空间模型，用卡尔曼滤波跟踪记忆不确定性并提出可并行扫描近似
📌 工作参考价值（4 点）
- 用户长期行为序列建模中若采用线性注意力，可借鉴 KDN 的记忆不确定性机制，通过卡尔曼增益自适应控制写入强度，降低噪声行为对稳定兴趣表征的覆盖风险。
- Agent 长对话/长程任务的状态维护可引入带置信度的增量写入，根据累积证据决定是否更新记忆，提升记忆稳定性与少样本适应能力。
- Diagonal/Isotropic KDN 提供 O(dk)/O(1) 辅助状态并支持并行关联扫描，适合工业级实时推理，可用于构建流式用户兴趣追踪或在线学习模块。
- 若探索生成式推荐中的 Semantic ID 记忆网络，可参考将记忆更新视为状态估计、用变分推断近似后验的思路，处理不确定性和动态环境。
多模态内容稀疏表示学习增强冷启动物品推荐
🧭 稀疏表示学习 · 内容冷启动
Queen Mary University of London
用稀疏嵌入替代稠密向量，以更低存储成本显著提升内容冷启动推荐准确性
📌 工作参考价值（4 点）
- 冷启动物品直接用多模态内容（图片、文本）生成稀疏嵌入，无需交互历史，可无缝用于电商 / 广告新品推荐。
- 稀疏嵌入显著降低存储成本（大幅压缩向量维度），并支持高效近似近邻检索，适合大规模商品目录。
- 借鉴预稀疏化激活技术（基于线性注意力），可以增强物品间相似度的尖锐性和去噪效果，让稀疏表示更具判别力。
- 稀疏性天然利于可解释推荐：非零维度可对应具体内容语义，方便向广告主解释为何推荐该物品。
走向线性的关键：分析驱动的 Transformer 线性化
🧭 LLM 后处理线性化 · 冻结骨干注意力近似
Qualcomm AI Research
证明 key-dependent rank-1 正交投影是 softmax 的关键，提出 sink tokens、短卷积、固定预算缓存路由等干预，实现冻结骨干线性化，在 32B 规模超越前方法
📌 工作参考价值（4 点）
- 若业务使用 LLM 做长上下文推理（如 Agent 长记忆、长文档理解），可采用冻结骨干 + 训练轻量线性注意力替换的方式，大幅降低 KV 缓存和计算量，保持模型质量。
- 提出的 sink tokens、短卷积、固定预算缓存路由是低成本的结构干预，可直接嵌入现有注意力层，尤其适合需要实时响应的推荐或搜索系统。
- 分析揭示 key-dependent rank-1 投影是 softmax 的核心操作，为设计定制化的高效注意力模块提供了理论依据，避免盲目试错。
- 该方法无需全参数微调，只需训练少量新增参数，适合模型频繁更新或需保持原始性能稳定的场景。
面向长上下文的混合注意力模型层选择优化
🧭 混合注意力模型自动化层选择
Fudan University · ByteDance Seed · The Chinese University of Hong Kong
提出FlashMorph，通过联合优化层门控自动选择全注意力层，构建高效长上下文混合模型
📌 工作参考价值（4 点）
- 在搜索推荐场景中处理用户长行为序列、多轮对话等长上下文时，可借鉴 FlashMorph 将全注意力模型转换为部分线性注意力的混合架构，在保留关键层全注意力的同时大幅降低推理成本。
- 层选择不再依赖手工规则，而是通过可学习门控在合成数据上端到端优化，能自动发现更优的混合配置，适合业务中快速适配不同长上下文任务。
- 线性化正则项显式鼓励模型信任线性注意力，防止门控退化成全注意力，可在部署时平衡效率与效果。
- 整个流程冻结原模型权重，仅优化门控和后续微调，实现成本低，便于在已有业务模型上低成本实验和上线。
泰勒校准：混合线性注意力蒸馏的原则性初始化
🧭 高效 LLM 架构的蒸馏初始化
The University of Sydney · Together AI · University of California, Berkeley · The University of Texas at Austin · Microsoft
利用泰勒展开匹配教师注意力统计量，让混合线性注意力学生初始化更好，节省 4.9-9.2 倍训练代价
📌 工作参考价值（4 点）
- 电商推荐场景的用户行为序列 Transformer 可部分替换为 Gated DeltaNet，并用 Taylor-Calibrate 初始化，无需重训即可获得低延迟推理与更小 KV cache。
- 知识蒸馏时，可直接借鉴定量匹配教师注意力的初始化策略，避免学生早期不稳定的动态重建，加速推荐大模型压缩。
- Agent 的长期记忆模块若使用线性注意力，可复用泰勒统计初始化思想，用少量数据对齐教师记忆读写门控，提升记忆一致性。
- 方法仅需少量校准数据、无反向传播，可在线快速将预训练推荐模型转为高效推理架构，大幅降低工程上线成本。